Understand deeper ： Where do AI ideas come from?

导言

如果想要写AI论文，就需要总结论文核心观点的来源。

更贴近现实的建模

之前的建模过于粗糙，通过更贴近现实的建模，实现更好的模型效果。是最常见的一类工作。

新增新场景下的信息

• 定制化loss/cost function/reward
  • 常用各种空间距离的度量方法：JS divergency， f-divergency
  • 添加新的成分（penalty）到cost function 来对特定信息进行惩罚。例如，魔改的GAN，通过在cost里添加图片的相似度，来惩罚相似图片的情况。
  • agentical RL: 在reward里奖励工具调用次数。

跨领域的思路迁移

• MAE 将 NLP 领域的 MASK 思想迁移到视觉领域。

参考文献